Theo tài liệu của dòng họ Tô, Lê Giản và các nhà cách mạng Tô Chấn, Tô Hiệu, Tô Quang Đẩu là anh em họ, cùng là hậu duệ 4 đời của Đốc học Nam Định Tô Ngọc Nữu.

Thân phụ ông, Tô Chuẩn, làm nghề thầy đồ, dạy chữ Nho và chữ Quốc ngữ cho con em các gia đình khá giả trong làng. Mẹ ông làm buôn bán nhỏ, nuôi sống gia đình. Từ nhỏ, ông được thân phụ dạy chữ Nho, chữ Quốc ngữ; đến năm ngoài 10 tuổi, ông cùng người anh em họ Tô Hiệu theo học các lớp đồng ấu, dự bị, sơ đẳng ở trường làng.

Năm 11 tuổi, mẹ mất, ông được gia đình gửi ra Hà Nội ở nhờ một người bà con buôn bán tơ lụa nuôi cho ăn học và giúp đỡ công việc vặt trong nhà. Ông lần lượt học tại các trường Hàng Vôi, Sinh Từ ở Hà Nội cho đến năm 1929, khi đã 18 tuổi, ông thôi học và đi làm thư ký giúp việc cho một nhà buôn Pháp ở Hàng Gai (Hà Nội).